LiteCoder-Terminal: Scaling Long-Horizon Terminal Environments for Learning Language Agents
LiteCoder-Terminal：长时终端Agent的零依赖环境合成与训练
🧭 终端Agent训练 · 零依赖环境合成与SFT/DMPO ★ 深度解读
Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences
提出零依赖合成框架，自主生成可执行终端环境与专家轨迹，训练出的Agent大幅超越基座模型
📌 工作参考价值（4 点）
- 领域驱动的任务合成：利用Magpie-style高温采样，仅从领域描述自动生成大量任务，无需外部数据源，适合快速为电商客服、导购等Agent场景定制训练任务池。
- 多阶段因果环境构建管线：指令精炼→环境素材化→参考解→对抗式验证器→资源配置，每一步基于前置执行轨迹确保一致性，可直接复用于搭建电商交易模拟或推荐系统仿真环境，避免人工构造的漂移与错误。
- DMPO多轮偏好优化：使用合成环境自带的自动验证器作为奖励信号，对长程Agent轨迹进行偏好学习，提升复杂任务表现；电商场景中的多轮对话式推荐Agent可借鉴此思路，利用可自动校验的虚拟用户行为进行RL训练。
- 能力短板定向弥补：零依赖架构天然支持按需合成特定领域训练数据，当电商Agent在售后纠纷、订单修改等弱项上表现不足时，可针对性地生成相关任务轨迹，数据效率高（本文仅用11K轨迹即逼近50万条轨迹方法的性能）。